22. 3. 2022

Co nás dnes čeká?

  1. Popisné statistiky
  2. Kauzální inference
  3. P-hodnota a replikační krize

Popisné statistiky

Statistika je když…

Efektivita vakcíny Pfizer-BioNTech je 73 %.

11,5 % lidí v Česku je ohroženo chudobou.

Ohrožení chudobou a sociálním vyloučením

Zdroj Eurostat

  • Jak byste takto nízkou míru ohrožení chudobou u nás vysvětlili?

Co je ohrožení chudobou a sociálním vyloučením?

At risk of poverty or social exclusion, abbreviated as AROPE, corresponds to the sum of persons who are either at risk of poverty, or severely materially and socially deprived or living in a household with a very low work intensity.

Eurostat

  • Ale co to znamená?

Operacionalizace

Překlopení pojmů z jazyka teorie do observačního jazyka.

Chudoba:

  1. Metrika (například příjmová chudoba)
  2. Hranice chudoby (například 60 % mediánu v dané ekonomice)
  3. Agregace

Způsob agregace chudoby a politické implikace

Základní reprodukční číslo

\[\Huge R_0\]

Základní představa pro \(R_0 = 2\)

Blíže skutečnosti (pro \(R_0 = 3\))

Převzato z (spiegelhalter2021?)

Odhad rozložení počtu nakažených

Převzato z (spiegelhalter2021?)

Přijetí na Univerzitu v Berkeley dle pohlaví

Zohlednění fakult

Obecný problém: Simpsonův paradox

Co si odnést?

  • Nestačí chroustat čísla, je potřeba rozumět tomu, co znamenají. “Avoid premature enumeration.” (T. Harford)
  • Operacionalizace je zřídka (pokud vůbec kdy) neutrální. Co a jak sledujeme má implikace pro naše rozhodování.
  • Popisná statistika může zastírat mechanismus, který působí v realitě.
  • Vztahy na individuální a agregované úrovni mohou být dramaticky odlišné (Simpsonův paradox).

Kde se začíst?

Skvělá kniha pro rozvoj datové gramotnosti každodenního života je How to Make the World Add Up (Harford 2021). Tim Harford je dlouhodobý tvůrce podcastu More or Less (BBC) a jeho příklady jsou strhující, skvěle podané a prakticky užitečné - kniha není psána poraženecky, že nás statistika jen klame, ale pozitivně - co můžeme dělat lépe.

Pokud to chcete vzít ještě více od podlahy a zaměřit se na sebe a svůj postoj ke světu a poznávání, doporučuji knihu The Scout Mindset (Galef 2021) postavenou na metafoře dvou myšlenkových nastavení: vojáka a zvěda.

Pokud byste měli chuť si osvěžit úplně základní statistiku netechnickou formou, doporučuji moderní přístup k výuce statistiky jako investigativního procesu The Art of Statistics (Spiegelhalter 2019)

Kauzální inference

Randomized controlled trial (RCT)

Statistické modely

  • deskriptivní, prediktivní, explanativní (Shmueli 2010)

  • explanativní - kauzální ambice, zásadní je teoretické ukotvení

DAG (directed acyclic graph)

  • heurestický nástroj pro explanativní modelování
  • pomáhá vyjasnit teoretický model, než se pustíme do statistického modelování

4 základní elementy zmatení

Kontrola vlivu třetí proměnné (conditioning, stratification)

  • kontrolní proměnná ve statistickém modelu
  • výběr vzorku
  • stratifikace v rámci analýzy (oddělené analýzy)

Nepravá korelace

Obrázek z McElreath, Statistical Rethinking 2022

  • mezi X a Y existuje asociace
  • po kontrole Z asociace mizí

Střední člen (the Pipe)

Obrázek z McElreath, Statistical Rethinking 2022

  • mezi X a Y existuje asociace
  • po kontrole Z asociace mizí (ale chceme to?)

Když pro mediátor kontrolovat nesmíme…

Houbová plíseň snižuje růst rostliny. Chci testovat, jak nasazení chemického ošetření ochrání rostlinu před tímto vlivem.

Ošetření -> Plíseň -> Růst

Nesmím kontrolovat pro plíseň, pokud nás zajímavá efekt ošetření na růst.

  • post-treatment bias (Montgomery, Nyhan, and Torres 2018)

Collider

Příklad toho, jak nás může collider zmást

Obrázek z McElreath, Statistical Rethinking 2022

Další příklad collideru

Obrázek z McElreath, Statistical Rethinking 2022

Descendant

Obrázek z McElreath, Statistical Rethinking 2022

  • descendant se chová podle toho, na co je napojen (zda je Z confonder, pipe, nebo collider)
  • například pokud by Z byl collider, nesmím kontrolovat ani pro A

Kde si přečíst víc?

Vlivné a přístupné pojednání o kauzalitě je The Book of Why (Pearl and Mackenzie 2018) od současné klíčové postavy teorie kauzálního výstupu. Šikovnou malou knihou na přečtení od začátku do konce je Mastering Metrics (Angrist and Pischke 2014) od autorů řady vlivných ekonomických kauzálních studií. Naopak dobrou “referenční” tlustou knihou je Counterfactuals and Causal Inference (Morgan and Winship 2014).

P-hodnota a replikační krize

Nabízet méně, prodávat více (choice paralysis)

Obrázek z Medium.com

Zkreslení přeživších

Pořádné zatřesení

  • Daryl Bem: Lidé vidí do budoucnosti (Journal of Personality and Social Psychology, 2011)
  • Pokus o replikaci nevyšly, ale časopis je odmítl publikovat

Publikační zkreslení, replikační krize a Brian Nosek

Důvody replikační krize

  • Publikační zkreslení
  • Malá prestiž replikačního výzkumu
  • P-hacking

P-hacking v podání Derrena Browna

Nenápadný p-hacking

  • 1024 výzkumníků se pokusí hodit 10krát po sobě pannu

  • výzkumníkovi se nepovede experiment, tak ho zahodí a zkusí něco jiného

  • výslekdy nejsou statisticky signifikantní,…

    • … ale kdyby se sebralo pár pozorování navíc
    • … ale kdyby se data zanalyzovala po skupinách
    • … ale kdyby se data zanalyzovala jiným modelem
    • … ale kdyby se vyloučila odlehlá pozorování

HARKing

Hypothesis after results known

John Ioannidis … na jeho slova došlo

A ne, POWER POSING asi nefunguje

… i když ten Ted Talk má na YouTube 20 miliónů zhlédnutí

Zdroj Wikipedie

Jak z toho ven?

  • Pre-registrace. Top lékařské časopisy už jinak ani studie nepublikují (i když své standardy často nedodržují příliš přísně), ostatní obory to pomalu začínají dohánět (a všude to není možné)
  • Časopis Trials (medicína) - publikace RCT nezávisle na výsledku a signifikanci.
  • Cochrane Collaboration (systematic reviews, medicína)
  • Campbell Collaboration (systematic reviews, sociální vědy, vzdělávání)

Co je p-hodnota?

“Informally, a p-value is the probability under a specified statistical model that a statistical summary of the data (e.g., the sample mean difference between two compared groups) would be equal to or more extreme than its observed value.” (Wasserstein and Lazar 2016)

Kritika p-hodnoty

  • p-hodnota je nevhodně používána jako míra důležitosti výsledku (přitom nulová hypotéza může být zcela banální)
  • p-hodnota je používána jako doklad toho, že byl učiněn vědecký objev, při zanedbání mnohem důležitějších kritérií (design studie, kvalita měřícího nástroje, předchozí evidence,…)
  • p-hodnota je používána nesprávně (p-hacking)
  • p-hodnota je nesprávně interpretována (např. nezamítání nulové hypotézy je vnímáno jako evidence ve prospěch nulové hypotézy)
  • obvykle není věcný rozdíl mezi p-hodnotou 5,1 a 4,9

Další čtení o p-hodnotě

Reference

Angrist, Joshua D., and Jörn-Steffen Pischke. 2014. Mastering ’Metrics: The Path from Cause to Effect. With French flaps edition. Princeton ; Oxford: Princeton University Press.

Galef, Julia. 2021. The Scout Mindset: Why Some People See Things Clearly and Others Don’t. New York: Portfolio.

Harford, Tim. 2021. How to Make the World Add up: Ten Rules for Thinking Differently about Numbers. 1st edition. London: The Bridge Street Press.

Iyengar, S. S., and M. R. Lepper. 2000. “When choice is demotivating: can one desire too much of a good thing?” Journal of Personality and Social Psychology 79 (6): 995–1006. https://doi.org/10.1037//0022-3514.79.6.995.

Montgomery, Jacob M., Brendan Nyhan, and Michelle Torres. 2018. “How Conditioning on Posttreatment Variables Can Ruin Your Experiment and What to Do about It.” American Journal of Political Science 62 (3): 760–75. https://doi.org/10.1111/ajps.12357.

Morgan, Stephen L., and Christopher Winship. 2014. Counterfactuals and Causal Inference: Methods and Principles for Social Research. 2nd edition. New York, NY: Cambridge University Press.

Pearl, Judea, and Dana Mackenzie. 2018. The Book of Why: The New Science of Cause and Effect. 1st edition. New York: Basic Books.

Shmueli, Galit. 2010. “To Explain or To Predict?” Rochester, NY. https://doi.org/10.2139/ssrn.1351252.

Spiegelhalter, David. 2019. The Art of Statistics: Learning from Data. UK USA Canada Ireland Australia India New Zealand South Africa: Pelican.

Wasserstein, Ronald L., and Nicole A. Lazar. 2016. “The ASA Statement on p-Values: Context, Process, and Purpose.” The American Statistician 70 (2): 129–33. https://doi.org/10.1080/00031305.2016.1154108.